経験がいきたな
ちょっとwebスクレイピングがしたいと思い、shell scriptを書きました。
クローリングとかそんな高級なことではなく、単独ページもしくは次ページの表の数字や文字を引っ張ってcsvを作りたいだけだったのでエディタで書くほどでもないと考えてのことです。
正直に言えば、例えばpythonのスクレイピングモジュール触ったことないので、学習コストが高いのです。
所用で、wget
、grep
、sed
、awk
などには馴染みがあったので前述のコマンドでできるなぁと、書きました。
unixコマンドは一定期間触ってないとまた忘れちゃうのが残念。